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融合 命题 逻辑 与 神经 网 络 的 隐 式 深度 协同 推荐 模型 
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摘 要 : 以 增强 推荐 算法 模型 认 知 推理 能 力 ， 克 服 传统 推荐 算法 高 度 依 赖 数据 质量 致使 性 能 受 限 的 现状 为 目标 ， 提 
出 一 种 将 命题 逻辑 与 神经 网 络 融 合 的 隐 式 深度 协同 推荐 模型 。 首 先 ， 构 建 一 个 隐 式 逻辑 表征 模块 ， 辅 助 联结 实际 问 
题 中 复杂 变量 与 远 辑 变量 的 隔 阅 ， 并 将 推荐 问题 转换 为 一 个 逻辑 表达 式 。 随 后 ， 利 用 神经 网 络 拟 合 逻 辑 符 号 对 远 辑 
表达 式 进行 求解 并 完成 推荐 。 在 具有 不 同 特 点 的 三 个 经 典 数据 集 MovieLens、Book-Crossing、Amazon-E 上 的 实验 表 
明 提 出 的 方法 展现 了 更 好 的 推荐 性 能 。 
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Implicit deep collaborative recommendation model based on propositional logic and neural network 
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Abstract: With the goal of enhancing the cognitive reasoning ability of the recommendation algorithm model and overcoming 
the performance limitation of the traditional recommendation algorithm which is highly dependent on the data quality, present 
a deep collaborative recommendation model which fusion of propositional logic and neural networks. First, building an 
implicit logic representation module to linking complex variables in real-world problems with logical variables, and 
transforming the recommendation problem into a logical expression. Subsequently, Using neural networks to fit logical 
symbols to solve logical expressions and complete recommendations. Experiments on three classical datasets with different 
characteristics, MovieLens, Book-Crossing, and Amazon-E, show that the model in this paper exhibits better recommendation 
performance. 
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0 as 足够 的 用 户 - 商 品 特征 对 。 这 主要 是 因为 商品 与 用 户 的 可 能 组 
= 合 总 是 伴随 数据 集 增长 旦 指数 级 别 增加 ， 而 经 典 的 神经 网 
近年 来 ， 高 速 发 展 的 互联 网 及 快速 升级 的 移动 设备 给 社 ”模型 缺乏 举一反三 的 推理 能 力 ， 模 型 效果 严 习 

会 带 来 了 丰富 多 彩 的 生活 方式 ， 如 电子 商务 、 新 零售 的 进一步 ”” 优 劣 。 相 应 的 ， 尽 管 传统 的 逻辑 系统 擅 于 解决 需要 推理 的 问 

发 展 为 人 们 提供 大 量 生活 方 式 及 工作 选择 ， 但 爆发 式 增 长 的 信 题 ， 但 基于 硬 规则 的 逻辑 方法 往往 缺乏 泛 化 性 ， 导 致 在 解决 

息 和 数据 也 使 用 户 面临 着 难以 从 干 万 甚至 上 亿 产 品 中 捕捉 潜在 。 ”实际 问题 时 无 法 很 好 的 容纳 内 部 冲突 。 例 如 ， 有 着 相同 历史 

感 兴趣 商品 的 问题 。 推 荐 系统 能 够 快速 将 用 户 与 其 最 相关 的 商 。 ”交互 的 用 户 也 许 会 作出 截然 不 同 的 决策 ， 即 同样 的 逻辑 表达 

品 进行 匹配 ， 有 效 节省 用 户 购 买 时 间 并 提升 用 户 的 体验 感 ， 已 。 式 也 许 有 不 同 的 解 。 由 此 不 难看 出 ， 融 合 逻 辑 推理 与 神经 网 

成 为 相关 领域 的 研究 热点 帆 ,。 推荐 系统 主要 有 协同 过 滤 推 荐 、 基  ” 络 以 构建 兼 具 推 理 能 力 与 良好 泛 化 能 力 的 模型 必然 是 研究 者 

于 内 容 的 推荐 、 基 于 关联 规则 推荐 等 方法 。 目 前 的 主流 推荐 方 未 来 关注 的 焦点 仆 。 

法 多 以 协同 过 渡 思 想 为 基础 进行 改良 与 优化 ， 即 根据 用 户 历史 BOL, Shi 等 加 提出 一 种 新 颖 思想 ,将 推荐 问题 转换 为 一 

交互 预测 未 来 中。 经典 协同 过 滤 方 法 以 矩阵 分 解 为 代表 锯 , 随 着 。 ”个 逻辑 表达 式 进 行 求解 ， 以 构建 一 种 具有 推理 能 力 的 推荐 预测 

深度 学 习 的 快速 发 展 和 广泛 应 用 ， 利 用 深层 模型 对 大 规模 数据 ”模型 。 类 似 的 工作 还 有 Chen 49-1014 Fan 等 1。 然而 ， 方 法 中 

进行 学 习 以 拟 合 匹 配 函 数 成 为 研究 热点 之 一 四。 的 逻辑 表达 式 仅 考 虑 变量 间 的 一 阶 关 系 ， 且 串联 求解 会 带 来 靠 
然而 ， 越 来 越 多 的 学 者 发 现 推荐 问题 并 非 仅 任 对 交互 前 单位 的 信息 丢失 问题 。 因 此 ， 本 文 在 将 推荐 问题 转换 为 逻辑 

史 进 行 统计 归纳 就 能 完美 解决 7。 例如 , 一 位 近期 购买 过 表达 式 进行 求解 的 基础 上 ， 于 商品 嵌入 与 逻辑 求解 间 增加 一 个 

脑 的 用 户 不 会 再 需要 同类 产品 的 推荐 ， 而 是 需要 键盘 、 和 鼠标 。” 隐 式 逻辑 表征 模块 ， 提 出 一 种 隐 式 深度 协同 推理 模型 。 

等 外 设 产 品 。 总 体 来 说 ， 用 户 常 常 刚 买 完 商 品 就 被 推荐 相似 与 已 有 工作 相 比 ， 本 文 模型 的 创新 点 为 : a) 本 文 将 交互 

商品 ， 但 实际 需求 已 经 消失 。 因 此 ， 仪 赁 对 用 户 交互 历史 进 ” 逻辑 表达 式 中 的 变量 视 为 一 个 序列 ， 利 用 多 层 自 注意 力 机 制 

行 归纳 统计 以 推断 其 未 来 意向 很 难 达 到 理想 效果 。 其 次 , 基 ”挖掘 各 变量 间 的 隐 性 交互 关系 ， 绥 解 仅 考 虑 一 阶 逻 辑 关系 导 

于 统计 匹配 的 方式 在 面 对 过 于 稀 玻 的 数据 集 时 将 很 难 学 习 到 ”” 致 的 表征 信息 不 足 问题 。b) 利 用 门 控 循 环 网 络 模 块 改善 逻辑 表 


un 
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达 式 串联 求解 过 程 
Book-Crossing、Amazon-E 数据 集 的 实验 结果 表明 , 本文 给 出 的 
模型 在 NDCG 与 HIT 指标 上 要 优 于 其 


1 ”相关 工作 


1.1 基于 深度 模型 的 协同 过 滤 推 荐 
办 同 过 滤 是 一 利 
过 滤 方 法 都 以 匹配 思想 为 基 
EE 的 矩阵 分 解 技术 
个 矩阵 的 乘积 ， 以 表 行 
学 者 优化 协同 过 滤 模 型 主 
为 目标 。 例 如 ，Gediminas 等 
用 户 特征 , Alexandros £ 


pb 靠 前 变量 的 信息 丢失 问题 ,6 在 MovieLens、 


的 推荐 方法 (传统 的 


E 阵 分 解 为 两 个 或 多 


ChinaXiv 合 作 期 刊 


: 融合 命题 逻辑 与 神经 网 络 的 隐 式 深度 协同 推荐 模型 第 39 卷 第 9 期 
段 之 一 。 本 文 将 推荐 问题 转换 为 逻辑 表达 式 进行 求解 ， 提 出 
一 种 融合 命题 逻辑 与 神经 网 络 的 隐 式 深度 协同 推理 算法 
(implicit deep collaborative reasoning, IDCR). 模型 主要 由 基于 
自 注意 力 与 门 控 循环 单元 的 隐 式 逻辑 表征 模块 和 基于 逻辑 符 
号 与 BP 神经 网 络 集成 的 深度 推理 模块 组 成 。 首 先 ， 利 用 隐 
式 逻 辑 表 征 模块 从 用 户 历 史 交 互 中 挖掘 商品 间 的 隐 式 逻辑 信 


息 并 生成 隐 式 逻辑 变量 ， 随 后 ， 经 由 深度 推理 模块 对 隐 式 逻 
辑 变 量 构 成 的 逻辑 表达 式 进行 求解 并 作 推 项 


测 。 


模型 主要 


隐 式 逻辑 表 


Run AACA D A, WA 
种 途径 ， 一 种 是 以 优 
过 上 下 文 预 过 滤 建 模 表 征 
高 维 的 张 量 代替 分 解 


通过 维度 的 提升 进 
间 信 息 与 用 户 行为 加 入 到 


陪 入 信息 ，Yehudal16] 将 动态 


预 
四 个 部 分 组 成 ， 分 别 是 输入 层 
理 层 以 及 输出 层 。 下 文 将 对 模 


型 的 各 个 模块 


Any 


进行 详 
2.2 输入 层 


由 一 系列 用 户 与 


A U={u1,u2,u3,.. 


在 表征 中 集成 更 丰富 的 信息 结构 。 例 如 ，Zhan 


似 的 工作 还 有 


collaborative filtering，NCF) 和 
络 模型 (collaborative memory network，CMN)。 上 述 方 法 均 使 
用 更 丰富 的 先 验 知识 或 更 复杂 的 内 核 模型 提升 
在 面 对 需 要 推理 能 力 的 任务 时 ， 基 ] 


RA, He 等 Q8 直 接 从 7 
并 作为 一 项 独立 的 指标 影响 
等 9] 借助 知识 图 谱 辅 
种 优化 方向 是 通过 寻 
型 ， 例 如 ，Hsieh 等 
中 度量 用 户 偏好 。 随 着 深 
强大 效果 ， 越 来 越 多 的 学 者 倾向 于 使 月 
习 匹 配 。 如 Ruslan 等 PH 首次 提出 了 一 种 RBM 模型 将 深度 学 
习 与 协同 过 滤 相 结合 ， 


像 、 评 级 等 信息 联合 表 行 


度 学 习 在 图 像 、 语 言 


上 取得 良好 效果 。 类 
EJ it We BE AY (neural 


内 统计 的 方式 难以 逾 


1.2 神经 符号 集成 
作为 人 工 智 能 


为 设 定 硬 规则 的 媒介 网 


必须 将 归纳 统计 与 推理 
推理 能 力 的 复杂 推 


越 从 感知 到 认 知 的 鸿沟 。 
的 思想 进行 融合 , 以 应 对 需要 一 所 


神经 符号 集成 是 一 


个 将 经 典 符 号 知识 与 
提供 良好 计算 能 力 与 逻辑 推理 


结合 的 领域 ， 使 模型 能 
能 力 。 深 度 学 习 则 被 视 为 一 个 


希望 克服 符号 与 5 


TZERKI RES, 


有 不 少 学 者 试图 


深度 学 习 的 方法 
Johnson 等 0 和 了 Yi 等 C9 设 计 了 一 种 深度 网 络 模型 
进行 视觉 推理 。Yang 等 中 提出] J 
库 神 经 逻辑 推理 系统 。Dong 等 I 构建 了 一 种 用 
及 决策 的 神经 逻辑 模型 。 
构 来 处 理 不 同 的 逻辑 输 


良好 表现 ， 但 在 面 对 


征 模 块 、 深 度 推 


输入 层 将 数据 转换 为 模型 所 需 的 输入 结构 ， 原 始 数 据 集 


商品 的 交互 评分 构成 ,主要 包括 用 户 的 ID 集 
uwi Amh ID 集合 V={v1,v2,v3,...,vj} 以 及 


评分 矩阵 Yixj 组 成 。 由 于 模型 将 推荐 问题 转换 为 逻辑 表达 式 


进行 求解 ， 因 此 需要 将 评分 转换 为 0 和 1， 以 5 分 制 为 例 ， 


大 于 等 于 4 的 评分 被 视 为 1， 代 表 用 户 与 商品 产生 正 交互 ， 
小 于 4 的 评分 被 视 为 0， 即 用 户 与 商品 产生 负 交 互 。 


随后 , 将 所 有 用 户 -商品 交互 按时 间 排 序 并 组 成 序列 ， 


个 序列 包含 / 


户 Wi、 商品 Vi、 用 户 对 商品 的 评分 yy 以 及 在 


该 条 交互 前 的 m 个 交互 商品 组 H= fih2zh3…,hn}。 最 后 ， 为 
防止 整数 编码 方式 导致 商品 与 用 户 之 间 产 生 错误 的 次 序 关 系 ， 


高 维 空间 以 得 到 


使 用 一 个 EmbeddingLayer( 嵌 入 层 ) 将 所 有 的 整数 编码 映射 到 


特征 向 量 。 


2.3 深度 推理 层 


为 了 更 好 的 引出 隐 式 逻辑 表征 模块 ， 本 文 首先 介绍 用 于 
求解 逻辑 表达 式 的 深度 推理 层 ， 其 输入 是 由 逻辑 变量 与 三 个 
基本 逻辑 符号 ( 八 ，V ,一 ) 构 成 的 逻辑 表达 式 , 输出 为 解 向 量 。 
同时 ,基本 的 逻辑 符号 被 视 为 三 个 独立 的 神经 网 络 进行 训练 。 
为 便于 理解 ， 
推理 层 中 。 输 入 
以 及 其 之 前 交互 的 三 个 商品 vi,v2,v3( 假 定 m=3)。 于 是 ， 当 用 


假设 输入 层 处 理 后 的 数据 直接 进入 到 深度 
包含 目标 用 户 u， 标 商 品 v， 交 互 评 分 yt 


户 在 给 予 商品 vuvzvt 正 面 评 价 , 而 给 予 商品 va 负面 评价 后 ， 
可 将 其 转换 为 一 个 逻辑 表达 式 ， 


Mmi avy m av) yav) =T (1) 


式 (1) 代 表 用 户 u 与 vt 产生 正 交 互 的 原因 既 可 能 与 vi 相 


关 ， 也 可 能 与 v2 


或 V3 相关 , 每 一 个 合 取 子 式 都 是 独立 的 ,这 


将 鼓励 模型 滤 出 


不 同 的 特征 解 ， 显 著 降低 模型 耦合 性 。 


将 历史 交互 转换 为 逻辑 表达 式 后 ， 推 荐 问题 就 被 转换 为 
一 个 逻辑 表达 式 的 求解 问题 。 为 了 将 符号 逻辑 与 神经 网 络 的 


优点 结合 起 来 ， 
神经 网 络 AND( 


本 文 将 三 个 基本 逻辑 符号 视 为 三 个 可 学 习 的 
",*，)，OR(，,*。)，NOT(，。)。 该 做 法 得 益 于 


模型 能 自发 的 从 数据 中 学 习 并 理解 逻辑 推理 规则 ,举例 而 言 ， 


在 一 维 空间 中 0 


显 不 足 。 为 使 推理 


模型 保有 更 好 的 泛 化 性 
逻辑 集成 网 络 (Logic-Integrated Neural Network, LINN)， 将 基 
本 的 逻辑 符号 视 为 神经 网 络 进行 拟 合 学 习 以 作 为 神经 网 络 与 
符号 主义 之 间 的 良好 媒介 。 但 忽视 了 不 同类 型 任务 转换 为 逻 


EAE, Shi 等 四 提出 了 


辑 问题 后 变量 之 间 的 隐 式 关系 ， 同 时 根据 逻辑 


和 1 代表 正 与 负 ， 也 就 是 说 NOT(U) =0; 在 


意向 量 v 都 仅 存在 一 条 与 其 相似 度 为 0 的 向 


二 维 空间 中 ， 任 


与 其 相似 度 
逻辑 系统 难以 


> OE m He 


=} 


型 计算 图 的 方式 会 导致 


逻辑 单元 信息 于 


系统 为 目标 ， 设 计 一 个 由 自 注意 力 机 制 与 门 控 循 环 网 络 结合 


程 中 产生 的 问题 。 
2 方法 
2.1 方法 概述 


增强 模型 的 认 知 推 


而 成 的 隐 式 逻辑 表 包 


两 个 维度 为 d 的 


v 代表 NOT(v); 当 维度 达到 三 维 即 以 上 时 ， 对 于 任意 向 


申 经 网 络 来 拟 合 不 同 空间 中 的 复杂 逻辑 关系 。 假 设 所 有 向 
量 的 维度 都 为 4， 则 AND(+, +) ORC, + ) 网 络 的 输入 为 


为 0 的 向 量 将 不 再 唯一 。 换 言 之 ， 仅 使 用 经 
表达 高 维 向 量 之 间 的 逻辑 关系 ， 因 此 需要 3 


向 量 , 输出 为 一 个 维度 为 d 的 向 量 , NOT( +) 


构 ， 以 NOT(… ) 


网 络 输入 为 一 个 维度 为 d 的 向 量 ， 输 出 也 为 一 个 维度 为 d 的 


个 网 络 均 采用 单 隐藏 层 的 全 连接 神经 网 络 结 
网 络 为 例 ， 其 公式 为 


NOT(Y,)=b+ Dco(b + >) wp) (2) 


并 


中 :o 为 激活 函 


数 ， 本 文 使 用 的 激活 函数 均 为 ReLU。 
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举例 来 说 ,AND(yz, 四 的 输出 代表 v1 A vt 的 结果 ,NOT(v3) 随后 对 相似 度 矩 阵 归 一 化 得 到 关于 向 量 V 的 权重 分 布 ， 
则 代表 -v3。 因 此 ， 式 (1) 在 模型 中 的 求解 流程 如 图 1 所 示 。 并 点 乘 计算 向 量 V 的 加 权 值 ， 计 算 公式 为 


Attention(Q, K,V) = softmax (9 (6) 


为 挖掘 不 同 子 空间 中 各 逻辑 变量 间 的 复杂 关系 ， 需 要 引 

入 多 头 注意 力 机制 ， 在 多 个 不 同 的 投影 空间 中 捕捉 不 同 的 交 

互信 息 并 有 效 防止 模型 陷入 局 部 最 优 陷阱 ， 公 式 如 下 ， 其 中 
WAH A BS ABE 

head, = Attention(Q, K,V),V, (7) 

MHead = concat(head, head, ...head; )W (8) 

通过 自 注意 力 模 块 ， 可 以 得 到 包含 名 变量 间 高 阶 隐 式 交 

互信 息 的 隐 式 逻辑 变量 al:，a2，a3。 随 后 ， 利 用 门 控 循环 

网 络 进一步 优化 模型 ， 解 决 深度 推理 模型 中 串联 计算 方式 带 

来 的 信息 丢失 问题 。 


= 


hy 


A 


hey 
图 1 式 (1) 在 模型 中 的 求解 过 程 am 
7 Œ 


Fig. 1 Solution process of Formula (1) in the model D 


o o 
值得 注意 的 是 ， 模 型 只 取 变 量 之 间 的 一 阶 关 系 ， 这 是 由 = 
于 高 阶 关 系 在 变量 个 数 增加 时 会 呈 指 数 增长 ， 这 将 带 来 大 量 ~ z 7 
计算 需求 与 模型 过 拟 合 的 问题 。 wo 了 
最 后 ,将 模型 的 输出 向 量 与 随机 初始 化 的 基准 向 量 T 求 ‘a 
相似 度 得 到 表达 式 的 解 ， 相 似 度 公式 为 = = 
: i i vT 
Sim(v,,T) = sigmoid(g pap (3) = - - 
其 中 : 8 为 超 参 数 , 通过 缩放 相似 度 大 小 使 模型 能 适 配 不 同 领 
域 的 数据 集 。 相 似 度 越 接近 1 代表 用 户 对 该 商品 的 预期 评价 >X >X R 
越 倾向 正面 。 
2.4， 隐 式 逻 辑 表征 mee i ha a 
DR ETE UR A Ze Se A Pere a, 2 $ 
辑 表 达 式 求解 析 取 范式 的 过 程 是 串联 进行 的 ， 这 将 导致 靠 前 £ Ve Vs 
的 逻辑 单位 信息 不 断 丢 失 ， 而 靠 后 的 逻辑 单位 则 不 可 避免 地 图 2 隐 式 逻辑 表征 模块 结构 
对 最 终结 果 产 生 更 大 影响 。 其 次 ， 在 前 文中 只 保留 变量 间 Fig.2 Implicit logic representation module structure 
阶 逻 辑 关 系 的 做 法 虽然 能 够 精简 模型 ， 但 也 在 一 定 程度 上 导 门 控 循环 网 络 内 部 结构 展示 在 图 3 上 方 ， 主 要 由 两 个 重 
有 变量 间 隐 式 信息 的 丢失 。 妆 面 对 以 推荐 任务 为 代表 ”要 单元 构成 ， 分 别 是 更 新 门 zt 与 重 置 门 r， 更 新 门 用 于 控制 
示 问 题 时 ， 不 同 变量 间 总 是 存在 复杂 的 隐 和 性 关系 ,例如 ”前 一 逻辑 变量 的 状态 信息 被 带 入 当前 信息 中 的 程度 ， 重 置 门 


电影 有 上 下 部 关系 ， 不 同 商品 也 许 从 属于 同一 品牌 或 同 。” 则 控制 前 一 状态 有 多 少 信 息 被 写 入 当前 的 候选 隐 状 态 hH, 
， 这 些 隐 式 信 息 都 会 对 推荐 结果 产生 影响 。 但 在 深度 。 计算 公式 如 下 ， 其 中 [。] 表 示 向 量 拼 接 : 


E 理 模块 中 , 每 样 商品 都 被 表示 为 独立 的 逻辑 变量 。 以 2.2 节 r, = OW, Lh, 1%) (9) 
中 的 假设 为 例 , 模型 忽视 了 历史 交互 商品 vuvzv3 之 间 的 二 阶 z=0(W. "hi,%)) (10) 
与 三 阶 关系 : h=tanh(W, sn * hi D) (11) 

(vi Av Av) v vi A Av) v WA Amv; AV,) =T (4) h =0-z)*ha +z, *h, (12) 

简 而 言 之 ， 当 不 考虑 变量 闻 的 高 阶 关 系 时 ， 也 就 主动 含 Y: =O(Woeh,) (13) 
弃 了 viv2,V3 之 间 的 隐 式 信息 , 这 样 的 做 法 显然 会 对 模型 性 能 通过 门 控 循 环 网 络 ， 模 型 可 以 自发 的 学 习 并 控制 对 表达 
造成 影响 。 式 不 同位 置 变 量 信息 的 取舍 ， 有 效 改善 深度 推理 模型 中 逻辑 
寻 此 ， 需 要 针对 上 述 深度 推理 模型 的 两 个 问题 构造 一 个 ” 表达 式 前 端 变 量 信息 丢失 的 问题 。 最 后 ， 将 通过 隐 式 逻辑 表 


隐 式 逻辑 表征 模块 , 首先 , 借助 自 注意 力 机 制 (Self-Attention) ” 征 模块 得 到 的 隐 式 逻辑 变量 视 为 一 个 逻辑 表达 式 并 作为 深度 
来 挖 气 不 同 逻 辑 变 量 之 间 的 隐 式 关系 ， 解 决 忽略 高 阶 关系 带 ”推理 模型 的 输入 。 


来 的 问题 。 其 次 ， 增 加 一 个 门 控 循环 单元 层 (Gated Recurrent 2.5 输出 层 

Unit,GRU) 解 决 串联 执行 析 取 范式 产生 的 信息 丢失 问题 , 隐 式 深度 推理 层 根据 输入 的 逻辑 表达 式 进 行 计 算 后 会 输出 一 

逻辑 表征 模块 的 具体 结构 如 图 2 所 示 。 个 d 维 解 向 量 , 将 该 向 量 与 基准 向 量 经 过 式 (3) 计 算 后 得 到 
首先 ，Attention 模块 将 代表 商品 的 逻辑 变量 视 作 一 个 输 AT 0-1 之 间 的 数值 即 代 表 用 户 对 目标 商品 的 预期 倾向 。 该 


入 序列 ， 通 过 学 习 各 逻辑 变量 之 间 的 相关 权重 来 挖掘 不 同 商 ”数值 越 接近 1 则 用 户 对 该 商品 的 预期 评价 越 正面 ， 在 推荐 任 
品 间 的 隐 式 交互 信息 。 该 计算 过 程 主要 由 query, key, value ，” 务 中 ， 预 期 评价 越 正 面 的 商品 在 推荐 序列 中 排名 越 靠 前 。 


三 个 部 分 组 成 ， 通 过 线性 投影 的 方式 得 到 QO、K、V 三 个 向 最 后 ， 算 法 1 给 出 了 IDCR 模型 的 具体 实现 。 
BO 与 下 向 量 点 乘 得 到 相似 度 和 矩阵 ， 相 似 度 公式 为 算法 1 IDCR 算法 


f(Q,K;) =Q'K; (5) 输入 : 历史 交互 序列 VV V2,.…Vn}， 评 分 序列 S{s1, sz，…sn}， 目 标 Vto 


录用 定稿 陈 孝 ， 等 : 


输出 : 用 户 对 vt 的 预期 倾向 P。 


融合 命题 远 辑 与 神经 网 络 的 隐 式 深度 协同 推荐 模型 


1. 初始 化 : AND()，OR()，NOT() 是 三 个 全 连接 神经 网 络 模块 ， 


att() 是 Attention 模块 ，gru() 是 GRU 模块 ，embedding( 

向 量 模块 

X 一 embedding(V) 

Xe + gru(att(X)) 

Xnot — NOT(Xe)*(1-S)+Xe*S 

Xor 一 Xnot[6] 

FOR(i=1;i<=length(Xnot); i++) DO 
Xor — OR(Xor, Xnot[i]) 

ENDFOR 

Xana < 二 AND(Xor，embedding(vt)) 

10. P 一 Sim (Xana, T)//Sim 为 式 (3) 


wow ON DUN A UMN 


JERA 
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3.3 ” 比 对 模型 及 参数 设置 


型 基于 矩阵 分 解 思想 ， 
LINN 基于 神经 网 络 与 逻辑 推理 


相 结 合 的 思想 ): 
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将 新 建 模型 与 以 下 六 个 经 典 模 型 进行 比较 (其 中 两 个 模 
个 模型 基于 神经 网 络 思想 ， 最 后 的 


a)SVD++031， 基 于 和 矩阵 分 解 方法 的 改进 模型 ， 集 成 显 式 
与 隐 式 反馈 的 强大 推荐 模型 。 

b)BiasedMFG41， 成 对 学 习 的 矩阵 分 解 的 代表 性 模型 ， 关 
注 于 商品 之 间 的 排序 高 于 评价 。 

c)STAMPB5:， 基于 短期 注意 力 与 记忆 优先 级 的 模型 ， 借 
助 注意 力 机 制 获取 用 户 长 期 及 短期 偏好 ， 是 热门 模型 之 一 。 


d)GRU4Reclè6l; 面向 推荐 问题 的 门 控 循 环 网 络 模型 。 


Z| 


eNARME1: 将 注意 力 机 制 与 门 控 循 环 网 络 相 结合 的 模 


型 ， 是 热门 的 序列 推荐 模型 之 一 。 
DLINNL9: 将 神经 网 络 与 逻辑 

经 网 络 与 逻辑 裔 力 相 结合 

基于 神经 网 络 与 逻辑 村 


理 相 结合 的 模型 ， 是 神 
的 热门 模型 之 一 。 本 文 新 建 模型 也 
作 理 相 结合 的 思想 ， 本 文 方法 在 该 模型 


基础 之 上 增加 了 一 个 隐 式 逻辑 表征 模块 以 进 


步 提 升 模型 


11. Return P 
下 面 给 出 具体 实现 案例 : 首先 ， 与 同一 用 户 交 互 的 N 个 
前 品 根据 交互 时 间 排 序 并 组 成 序列 Vvv vn B NH 个 
角 品 则 作为 预测 商品 w， 随 后 ， 将 序列 严 的 每 个 变量 藤 入 生 
成 高 维 向 量 (算法 第 2 行 )， 并 将 这 一 组 向 量 输入 自 注 意 力 模 
央 与 门 控 循 环 网 络 并 生成 一 组 隐 式 逻辑 变量 (第 3 行 )。 接 着 ， 
将 这 一 组 隐 式 逻辑 变量 视 作 一 个 逻辑 表达 式 经 由 逻辑 符号 网 
= 络 求解 得 到 解 向 量 (第 4-9 行 )。 最 后 , 将 该 解 向 量 与 随机 生成 
的 基准 向 量 T 经 由 式 (3) 得 到 该 逻辑 表达 式 的 解 值 , 并 作为 用 
© 户 对 目标 商品 的 预测 评分 (第 10 行 )。 
O 3 实验 与 分 析 
LO 31 实验 数据 
© 本 文 利用 三 个 具有 代表 性 的 公开 数据 集 MovieLens , 
N Book-Crossing, Amazon-E 检验 新 建 模型 IDCR 的 推荐 效果 。 
N a)MovieLensB!; 由 Grouplens 建立 并 维护 的 电影 推荐 数 
Se 据 集 , 是 推荐 领域 的 常用 数据 集 。 它 数据 密度 较 高 ,包含 900+ 
aa 个 用 户 对 1000+ 部 电影 发 表 的 十 万 条 评分 数据 。 
> b)Book-Crossing!”), Book-Crossing 社区 二 十 四 万 阅 
x< 读者 对 图 书评 分 构成 的 图 书 推荐 数据 集 。 它 非常 稀疏 ， 对 基 
© 于 统计 特征 的 深度 学 习 方 法 具有 很 大 的 挑战 。 
Cc c)Amazon-EB3]: 由 亚马逊 用 户 网 上 购物 评分 构成 的 电子 
T 商务 推荐 数据 集 。 它 密度 适中 ， 数 据 量 非 常 大 。 
© 数据 集 基 本 情况 如 表 1 所 示 。 


表 1 实验 数据 集 基 本 情况 


Tab. 1 Basic information of experimental data set 

Dataset #User #Item #Positive #Negative Density 

MovieLens 943 1682 55,375 44,625 6.3% 
Book-Crossing 242,158 313,316 364,037 635,763 0.013%o 
Amazon-E 192,403 63,001 1,356,067 333,121 0.014% 

3.2 评价 指标 

采用 top-K 推荐 方法 对 新 建 模型 进行 检验 ， 对 每 一 个 用 
户 给 予 积极 评价 的 商品 ， 随 机 选取 100 个 用 户 给 予 消极 评价 或 


未 进行 交互 的 商品 生成 测试 序列 ， 并 对 这 101 份 商品 进行 推荐 
排序 。 选 用 归 一 化 折 损 累计 增益 NDCG(normalized discounted 


cumulative gain) 与 命中 率 HR(hits ratio) 衡 量 模型 推荐 效果 : 
NDCG@EK: 越 靠 前 的 排名 越 能 影响 最 终结 果 。 该 指标 越 
大 则 说 明 目 标 商品 在 TOP-K 序列 中 的 位 置 越 靠 前 , 其 定义 为 
DE S log, 2 
aaa? a a a4) 
HR@K: hit 表示 TOP-K 中 是 否 出 现 目标 商品 ， 出 现 为 


1， 否 则 为 0。HR@K 代表 在 所 有 测试 集 S 中 命中 
的 概率 ， 其 定义 为 


HR@K = number of hits 


N 


标 商 品 


(15) 


对 推荐 问题 时 的 性 能 。 
上 述 模型 均 采用 
验证 集 上 取得 最 好 效果 那 轮 的 测试 结果 作为 模型 最 佳 性 能 ， 


Pytorch 实现 ， 对 于 每 个 模型 ， 都 以 在 


并 在 多 个 随机 种 子 下 模型 取得 的 效果 取 平 均值 作为 模型 平均 


性 能 指标 。 神 经 网 络 基线 模型 的 参数 设置 如 表 2 所 示 。 
表 2 模型 的 超 参 数 设 置 
Tab.2 Hyperparameter setting of model 


超 参数 名 称 参数 值 
优化 器 Adam 
迭代 次 数 100 
学 习 率 0.001 
批 处 理 大 小 128 
丢弃 率 (dropout) 0.2 
L2 正则 项 系数 le-5 
GRU4Rec 隐藏 维度 64 
STAMP 隐藏 维度 64 
NARM 隐藏 维度 64 
NARM 注意 力 维 度 16 
3.4 结果 与 分 析 
为 避免 偶然 性 影响 , 本 文选 取 HR@K(K=1,5,10,20,50) & 


NDCG@K(K=5,10,20) 共 八 个 指标 的 平均 值 作为 比较 参数 ,七 
个 模型 在 三 个 数据 集 的 平均 性 能 见 表 2， 可 以 看 到 本 文 新 建 


模型 在 三 个 数据 集 上 的 性 能 均 高 于 六 个 经 
方法 能 有 效 提 高 推荐 准确 率 ， 增 强 推荐 准确 性 。 

在 密度 与 质量 较 高 的 数据 集 MovieLens 和 Amazon-E 上 
基于 神经 网 络 的 方法 显著 优 于 矩阵 分 解 方 法 ， 可 
经 网 络 方法 能 够 赋予 模型 非 线性 学 习 能 力 ， 在 面 
的 数据 集 时 能 利用 到 更 多 交互 信息 。 在 Book-Crossing 数 ] 
集 上 ， 除 本 文 方法 外 的 


fée HF 4 


经 网 络 模型 性 能 均 低 于 矩阵 分 解 方 


模型 ， 可 知 本 文 


’ 


申 


对 特征 丰富 


=I 


日 


法 ， 而 矩阵 分 解 模型 则 依然 能 保持 它们 在 其 余 两 个 数 
的 推荐 性 能 。 
以 捕捉 足够 多 的 特征 ， 致 使 模型 收敛 效果 不 佳 。 
本 文 方法 在 三 个 不 同 数 据 集 上 均 表 现 了 


ER 


最 佳 性 能 ， 这 主 


分 析 原 因 是 过 于 稀疏 的 数据 集 导致 神经 网 络 难 


时 弥补 了 LINN 模型 难以 
及 串联 计算 图 带 来 的 信息 丢失 问题 。 
从 稀 玻 稳定 性 来 看 ， 
上 性 能 相近 ， 这 可 能 是 ! 
赖 较 弱 。 其 余 五 种 
据 集 上 出 现 明显 下 滑 ， 但 本 文 方法 的 降 


基于 矩阵 分 解 的 模型 在 不 同 数据 集 
于 和 矩阵 分 解 方法 对 数据 集 质 量 的 依 
经 网 络 模型 的 性 能 均 在 Book-Crossing 数 
晶 显 著 低 于 其 余 神 经 


要 归功 于 增加 的 隐 式 逻辑 表征 模块 在 保有 模型 推理 能 力 的 同 
有 获 变量 间 高 阶 隐 式 信息 的 缺陷 以 


网 络 模型 ， 分 析 原 因 是 增加 的 隐 式 逻辑 表征 模块 强化 了 模型 
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的 鲁 棒 性 ， 在 面 对 稀 玻 数据 时 仍 能 通过 挖掘 各 变量 间 的 隐 式 “在 三 个 数据 集 上 获得 最 好 性 能 的 嵌入 维度 分 别 是 84、96、96， 可 
言 息 以 取得 良好 表现 。 知 在 不 同 结构 的 数据 集 上 隐藏 的 交互 信息 丰富 程度 有 轻微 差异 。 
更 详细 的 实验 结果 如 表 3~5 所 示 。 可 以 看 到 ， 当 选择 不 as eas 
司 K 值 时 ， 模 型 性 能 排序 会 有 轻微 变化 ， 如 Book-Crossing 0.55 BERA 
数据 集 的 HR@1 与 HR@5 指标 上 ，SVD++ 取 得 优异 表现 ， g = 
而 Amazon-E 数据 集 的 NDCG@5 与 HR@1 指标 上 ,LINN 表 
风 更 佳 。 这 可 能 是 由 于 本 文 方法 考虑 不 同 商品 间 的 隐 式 交互 Bost 
使 得 相似 商品 在 排序 中 更 加 接近 ， 导 致 极 小 范围 的 推荐 精度 £ oso 
出 现 降低 ， 未 来 将 考虑 引入 额外 信息 优化 嵌入 ， 改 善 模型 小 oe 
范围 推荐 精度 。 d=72 d=84 d=96 d=108 
KI 各 模型 在 三 个 数据 集 的 平均 实验 结 i el 
Tab.3 Average experimental results of each model in three data sets 图 3 MovieLens 数据 集 上 参数 敏感 测试 结 
HEr MovieLens Book-Crossing Amazon-E Fig.3 Parameter sensitivity test results on movielens dataset 
NDCG@AVE HR@AVE NDCG@AVE HR@AVE NDCG@AVE HR@AVE ass 
SVD++ 0.3658 0.6137 0.3461 0.6197 0.3528 0.5404 0.55 = ee 
BiasedMF 0.3542 0.5987 0.3497 0.5929 0.3426 0.5255 g 
STAMP 0.3853 0.6198 0.3155 0.5890 0.3911 0.5858 f 
GRU4Rec 0.3899 0.6248 0.3023 0.5799 0.3989 0.5934 g 
NARM 0.3922 0.6252 0.3040 0.5712 0.3990 0.5933 è 
LINN 0.3849 0.6192 0.3192 0.5973 0.4162 0.6062 
IDCR 0.3989 0.6314 0.3560 0.6639 0.4187 0.6094 aa 
d=64 d=72 d=84 d=96 d=108 
表 4 各 模型 在 MovieLens 数据 集 的 实验 效果 Embedding Dimension 
Tab. 4 Experimental results of each model in movielens dataset 图 4 Book-Crossing 数据 集 上 参数 敏感 测试 结果 
对 比方 法 NDCG@5 NDCG@10 NDCG@20 HR@1 HR@5 HR@10 HR@20 HR@50 Fig.4 Parameter sensitivity test results on Book-Crossing dataset 
SVD++ 0.3344 0.3679 0.3951 0.1715 0.4669 0.6615 0.8115 0.9572 sé 
BiasedMF 0.3054 0.3600 0.3974 0.1485 0.4571 0.6260 0.8033 0.9588 0.55 = Layer? 
STAMP 0.3330 0.3929 0.4299 0.1732 0.4839 0.6683 0.8157 0.9582 g 
GRU4Rec 0.3400 0.3949 0.4350 0.1694 0.4995 0.6693 0.8242 0.9620 E 
NARM 0.3439 0.3967 0.4360 0.1759 0.5027 0.6654 0.8226 0.9593 2 
LINN 0.3385 0.3876 0.4287 0.1733 0.5005 0.6517 0.8130 0.9577 fa 
IDCR 0.3492 0.4053 0.4423 0.1838 0.5075 0.6801 0.8259 0.9595 0.49 
表 5 各 模型 在 Book-Crossing 数据 集 的 实验 结果 
d=64 d=72 d=84 d=96 d=108 
Tab. 5 Experimental results of each model in Book-Crossing dataset Embedding Dimension 
对 比方 法 NDCG@5 NDCG@10 NDCG@20 HR@1 HR@5 HR@10 HR@20 HR@50 图 5 Amazon-E 数据 集 上 参数 敏感 测试 结果 
SVD++ 0.3163 0.3532 0.3687 0.3325 0.5789 0.6595 0.7074 0.8202 Fig. 5 Parameter sensitivity test results on Amazon-E dataset 
BiasedMF 0.3167 0.3576 0.3748 0.3200 0.5395 0.6157 0.6943 0.7949 4 ”结束 语 
STAMP 0.3059 0.3158 0.3247 0.3207 0.5352 0.6108 0.6845 0.7940 FAAN 
GRU4Rec 0.2930 0.2996 0.3144 0.2917 0.5260 0.6012 0.6843 0.7964 本 文 以 将 推荐 问题 转换 为 逻辑 表达 式 进 行 求解 的 思想 为 
NARM 0.2968 0.3014 0.3139 0.30770.5115 0.5910 0.6634 0.7825 基础 ， 提 出 一 种 融合 命题 逻辑 与 神经 网 络 的 隐 式 深度 协同 推 
LINN 0.3119 0.3175 0.3282 0.3120 0.5450 0.6256 0.6918 0.8122 时 算法 。 算 法 将 逻辑 a 变量 视 为 序列 ， 使 
IDCR 0.3317 0.3597 0.3767 0.3105 0.5718 0.7436 0.8139 0.8798 多 层 自 注意 力 与 门 控 循 环 网 络 构 造 隐 式 逻辑 编码 器 挖 据 各 


表 6 各 模型 在 Amazon-E 数据 集 的 实验 结果 变量 间 的 隐 式 交互 信息 并 生成 隐 式 元 变量 ， 使 模型 在 求解 
Tab.6 Experimental results of each model in amazon-e dataset 过 程 中 能 利用 到 不 同 变量 间 的 高 阶 交 互 关 系 与 信息 ， 改 善 模 
型 解决 复杂 现实 问题 的 能 力 。 同 时 ， 门 控 循 环 网 络 的 记忆 机 


对 比方 法 NDCG@5 NDCG@10 NDCG@20 HR@1 HR@5 HR@10 HR@20 HR@50 


SVD++ 0.3159 0.3554 0.3873 0.1891 0.4331 0.5551 0.6813 0.8436 制 也 在 一 定 程度 上 改善 了 模型 串联 求解 过 程 中 产生 的 靠 前 单 
BiasedMF 0.3063 0.3445 0.3771 0.1909 0.4136 0.5316 0.6610 0.8308 立信 息 丢 失 问 题 。 基 于 三 个 公开 数据 集 MovieLens、Book- 
STAMP 0.3529 0.3938 0.4267 0.2202 0.4754 0.6020 0.7321 0.8992 Crossing, Amazon-E 的 实验 结果 表明 ， 本 文 方法 较 基线 方法 
GRU4Rec 0.3609 0.4016 0.4344 0.22540.4855 0.6106 0.7404 0.9051 有 明显 提升 。 

NARM 0.3611 0.4018 0.4343 0.22540.4855 0.6116 0.7396 0.9047 本 文 方法 也 存在 一 定 不 足 ， 例 如 ， 本 文 没 有 考虑 基本 好 

LINN 0.3802 0.4185 0.4501 0.2449 0.5019 0.6247 0.7494 0.9104 辑 规则 中 先 验 知识 对 符号 模块 的 影响 ， 也 没有 充分 利用 外 界 

IDCR 0.3801 0.4224 0.4537 0.2428 0.5075 0.6305 0.7543 0.9121 丰富 的 辅助 信息 ， 而 是 通过 模型 训练 挖掘 变量 间 的 隐 式 交互 
35 参数 敏感 性 实验 言 息 。 未 来 将 考虑 在 咎 入 中 加 入 更 多 用 户 与 商品 的 辅助 信息 

对 新 建 模型 的 嵌入 维度 与 隐 式 罗 辑 表征 中 自 注意 力 层 数 以 丰富 特征 ,同时 尝试 利用 基本 逻辑 规则 强化 模型 推理 能 


进行 参数 敏感 性 测试 。 分别 ibs eA EN 64, 72, 84, 96, 参考 文献 : 

108， 自 注意 力 层 数 为 1、2、3 在 三 个 数据 集 上 测试 ， 结果 如 
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